计算优化
  1. 首页
  2. 计算优化

列表

LayerSkip

LayerSkip

LayerSkip 是一种针对大型语言模型推理优化的技术，通过层 dropout 和早期退出损失机制，实现从早期层的精准退出，降低计算成本并提高解码效率。该方法结合自我推测解码技术，支持模型在早期层生成预测并通过后续层验证修正，广泛适用于文档摘要、编程任务、语义解析等自然语言处理任务，同时确保高精度与低延迟。
AI项目与工具 2025年06月12日
MiLoRA

MiLoRA

MiLoRA是一种参数高效的大型语言模型微调方法，通过奇异值分解将权重矩阵分为主要和次要两部分，专注于次要部分的优化以降低计算成本，同时保持模型的高精度和高效性。它在自然语言处理任务中表现出色，适用于文本分类、情感分析、问答系统等多个领域，并在多租户环境和实时内容生成中展现出显著优势。 ---
AI项目与工具 2025年06月12日
BlockDance

BlockDance

BlockDance是由复旦大学与字节跳动联合开发的扩散模型加速技术，通过识别结构相似的时空特征（STSS）减少冗余计算，提升推理效率达25%-50%。结合强化学习的BlockDance-Ada模块实现动态资源分配，平衡速度与质量。适用于图像、视频生成及实时应用，支持多种模型，兼顾高效与高质，适用于资源受限环境。
AI项目与工具 2025年06月12日
ViLAMP

ViLAMP

ViLAMP是由蚂蚁集团与中国人民大学联合开发的视觉语言模型，专为高效处理长视频设计。采用混合精度策略，支持在单张A100 GPU上处理长达3小时的视频，提升处理效率并降低计算成本。具备长视频理解、关键信息提取、多任务处理等功能，适用于教育、监控、直播、影视制作及智能客服等场景。技术上通过差分关键帧选择与特征合并优化性能，实现精准且高效的视频分析。
AI项目与工具 2025年06月11日